Het kasteel Ter Wallen werd gebouwd op de plaats waar vroeger de historische hoeve, De Rode poort, stond. Parlementariër Joseph van Naemen en zijn vrouw Suzanne Vanden Bogaerde lieten het kasteel in 1908 bouwen naar een ontwerp van de bekende architect Walter Vercoutere. De naam Ter Wallen verwijst naar de wallen die ooit rond de hoeve lagen. 
Tijdens de Eerste Wereldoorlog werd het statige kasteel, in neo-Vlaamse-renaissancestijl, verpacht aan de uit Frankrijk gevluchte zusters Ursulinen van Blois. In de zomer van 1917 werd het kasteel ingericht als militair hospitaal voor Duitse soldaten die gewond terugkwamen van het slagveld. Na de Tweede Wereldoorlog werd het kasteel verkocht aan de borstelfabrikant Wybo uit Izegem. Hij maakte er een gelegenheidsrestaurant van en allerlei feesten werden op het domein georganiseerd. Begin 1985 sloot het restaurant officieel de deuren en werd het kasteel privé bewoond. 
In 2018 huurde Laurence Vansteenkiste het domein Ter Wallen en begon met de opstart van een B&B. Na tien maanden intensief verbouwen en renoveren, met respect voor de geschiedenis van deze unieke locatie in hartje Izegem, opende de B&B officieel de deuren op 23 september 2019.